Các di tích tìm được từ thời đại đồ đá và thời đại đồ đồng chứng tỏ là đảo đã có người cư ngụ từ xa xưa. Đầu thế kỷ 16, đảo có 1 nhà thờ và năm 1527 đảo trở thành 1 giáo xứ riêng. Trong các cuộc chiến tranh ở thế kỷ 17, đảo bị nhiều lần cướp phá và sau cuộc chiến tranh với Thụy Điển năm 1660, dân cư trên đảo đã phải nhờ sự cứu trợ của thành phố Nykøbing (đảo Falster) và thành phố Stubbekøbing mới không bị chết đói.

Trong thế kỷ 20, Femø mất rất nhiều cư dân. Năm 1901 đảo có hơn 700 người, tới năm 2004 chỉ còn dưới 500. Ngôi trường duy nhất trên đảo bị đóng cửa năm 1998 vì thiếu học sinh.

Từ năm 2007, cơ quan Bưu điện Đan Mạch bãi bỏ trạm bưu điện trên đảo (Khu bưu chính cũ 4945). Ngày nay cư dân phải đi 22 km tới trạm bưu điện Maribo (đảo Lolland, khu bưu chính mới 4930)để gửi và lãnh thư tín.